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摘 要 : [目的 /意义 ] 研 究 多 维特 征 对 社会 化 问答 社区 答案 排序 的 影响 ,以 提高 问答 社区 服务 质量 并 尽 可 能 优化 用 户 体 
验 。[ 方 法 /过 程 ] 从 答案 特征 、 回 答 者 特征 和 投票 者 特征 多 个 维度 构建 社会 化 问答 社区 答案 排序 特征 体系 ,比较 
基于 深度 学 习 、 树 、 神 经 网 络 、 支 持 向 量 机 等 11 种 排序 学 习 算 法 在 问答 社区 数据 集 上 的 适用 性 ,并 训练 随机 森林 
分 类 算法 ,得 到 每 个 特征 的 重要 程度 。[ 结果 /结论 ] 实验 结果 表明 ,基于 深度 学 习 的 排序 学 习 算 法 在 NDCG@kk 
和 MRR 指标 上 的 性 能 均 优 于 其 他 排序 算法 ,投票 者 的 影响 力 特 征 最 为 重要 ,其 次 是 答案 内 容 特征 ,最 后 是 回答 者 
的 专业 度 特征 ,可 以 考虑 从 增加 答案 排序 方式 的 多 样 性 和 提高 答案 排序 算法 的 综合 性 两 个 维度 进一步 优化 答案 


m 排序 。 
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5 OWeb2. 0 时 代 背 景 下 ,社会 化 问答 社区 (social Q&A 
iiiunities ) 已 成 为 用 户 知识 获取 和 互动 交流 的 重要 


渐 冠 善 ,同时 深刻 地 影响 着 用 户 的 知识 获取 、 社 交行 为 
先头 方面 面 " ,但 是 它 在 给 用 户 带 来 互动 便利 的 同时 ， 
“为 识 泛 小 “知识 超载 "等 问题 也 随 之 出 现 。 社 会 化 
问答 社区 的 答案 排序 研究 有 利于 提供 高 质量 问题 答 
案 ( 收 升 服务 质量 , 现 已 成 为 社会 化 问答 社区 实践 和 研 
究 领 域 的 关注 重点 。 目 前 社会 化 问答 社区 答案 排序 研 
究 主要 从 答案 结构 特征 、 答 案 文本 特征 或 回答 者 特征 
3 个 维度 展开 ,特征 维度 选取 并 不 全 面 。 在 答案 排序 
算法 研究 中 ,多 数 研究 集中 在 排序 算法 的 优化 或 提出 
上 ,导致 现 有 排序 算法 的 种 类 繁多 ,因此 缺乏 评估 不 同 
类 别 排序 算法 在 社会 化 问答 社区 数据 集中 的 适用 性 的 
研究 。 同 时 ,从 现实 需求 方面 考虑 ,目前 社会 化 问答 社 
区 用 户 群 体 基数 大 ,用 户 的 信息 需求 存在 极 大 差异 , 现 
有 的 答案 排序 方式 很 难 满足 不 同 用 户 的 需求 ,如 相 比 
于 用 户 投票 排序 结果 ,有 的 用 户 想 看 到 领域 专家 的 


E 


答 , 有 的 用 户 想 看 到 内 容 丰 富 的 回答 ,而 有 的 用 户 可 能 
更 想 看 到 主观 /客观 性 较 强 的 回答 等 。 鉴 于 此 ,本 文 将 
针对 上 述 社 会 化 答案 排序 理论 研究 与 实践 应 用 的 局 限 
性 ,通过 构建 多 维度 答案 排序 特征 体系 ,将 多 维 排序 特 
征 体系 融入 排序 算法 ,以 解决 特征 维度 不 全 面 以 及 不 
同 算法 适用 性 的 问题 ,提高 问答 社区 服务 质量 以 优化 
用 户 体验 。 


2 ”社会 化 问答 社区 答案 排序 研究 现状 


2.1 社会 化 问答 社区 答案 排序 特征 指标 

综观 国内 外 研究 现状 ,可 以 发 现 学 者 大 多 利用 答 
案 特 征 以 及 回答 者 特征 对 管 案 进 行 排序 研究 ,也 有 少 
部 分 学 者 从 投票 人 群 特征 的 角度 进行 研究 。 
2.1.1 答案 特征 

答案 特征 主要 包含 答案 外 部 特征 和 答案 内 部 特 


答案 外 部 特征 指 可 以 直接 统计 得 出 的 特征 。 通 过 
对 文献 进行 梳理 , 发现 研究 者 常用 的 答案 外 部 特征 包 
括 :GD 答案 长 度 ””;@) 链 接 .图 片 代码 等 的 数量 ,答案 
包含 此 类 内 容 越 多 , 则 表明 答案 的 内 容 越 丰富 T, 
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@@ 点 赞 数 . 评 论 数 、 反 对 数 . 浏 览 数 等 ,对 答案 进行 点 
赞 .评论 等 行为 属于 浏览 用 户 的 行为 ,参与 到 该 答案 
的 人 数 越 多 , 则 该 答案 越 流行 , 越 有 可 能 是 高 质量 昌 
答案 ;国名 词 .动词 .疑问 词 等 的 数量 ,具有 良好 结 
构 以 及 包含 合理 数量 的 浅 层 句法 特征 的 答案 更 有 可 
能 是 好 的 答案 ?0 ;@@ 答 案 数量 ,包括 句子 数量 
等 ”;@ 其 他 特征 ,如 答案 问题 比率 ”相同 词语 序 
g^* ;等 等 。 

答案 内 部 特征 主要 指 列 含 在 文本 中 ,无 法 直观 表 
现 出 来 的 特征 。 通 过 梳理 发 现 学 者 所 使 用 的 答案 排序 
内 容 特征 大 致 包含 三 类 :问题 答案 相似 度 。 问 题 与 
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2.2 社会 化 问答 社区 答案 排序 方法 
2.2.1 利用 现 有 的 答案 排序 模型 

一 些 研究 学 者 将 相关 理论 研究 思想 与 现 有 的 答案 
排序 模型 相 结 合 , 达到 优化 排序 模型 的 效果 。M. 
Surdeanu 等 把 问题 与 答案 间 的 相似 度 , 提 问 术 语 在 
答案 中 出 现 的 密度 .频率 到 网 络 相 关 特 征 结合 到 感知 
排序 模型 和 SVMRank 模型 中 ,从 而 优化 模型 。 原 立 
伟人 和 借 助 迁移 学 习 的 思想 对 传统 的 排序 学 习 方 法 进 
行 改进 ,Ranking SVM 在 PO@N MAP NDCG 等 指标 上 
表现 更 优 。 田 作 辉 "提出 了 基于 质量 检测 和 排序 的 答 
案 选 取 方 法 ,过 滤 掉 低 质量 的 答案 后 再 对 答案 进行 排 


答案 的 主题 相似 度 越 高 , 则 该 答案 越 有 可 能 是 高 质量 
答案 “ ”;@) 答 案 相 似 度 。 计 算 同 一 问题 下 不 同 答 
和 宗 的 相似 度 可 以 过 滤 掉 无 关 答案 ”“”;@@ 情 感 极 性 。 
具 帮 正 向 情感 借 向 的 答案 更 有 可 能 是 一 个 好 的 答 


| 
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回答 者 特征 
回答 者 特征 维度 主要 通过 对 回答 者 专业 程度 的 衡 
量 来 表示 ,通过 对 现 有 文献 的 梳理 ,可 以 发 现 衡量 用 户 
大 于 一 话题 或 问题 领域 的 专业 程度 ,不 同 的 研究 者 有 
伦 图 的 表述 方式 ,如 用 户 权威 度 , 用 户 专业 度 ,用户 专 
JICBUj e 480 9 79 ,本 文 统一 将 其 称 为 用 户 专业 
ÉN 研究 者 利用 不 同 的 指标 来 衡量 用 户 专业 度 , 比 如 
通过 用 户 披露 的 个 人 擅长 领域 .关注 领域 .关注 关键 记 
竺 性 征 来 衡量 用 户 对 某 一 领域 的 专业 程度 '” ;用户 在 
某 沪 主题 下 回答 的 问题 数 越 多 ,提问 的 问题 越 少 , 则 用 


户 在 这 个 主题 下 的 专业 度 越 高 ” ;利用 用 户 在 某 一 领 


序 在 准确 率 方面 要 优 于 直接 对 答案 排序 。Z，M.，Zhou 
等 "将 问答 社区 用 户 概况 信息 融入 到 SVMRank , List- 
Net 排序 模型 ,排序 特征 集中 加 入 了 用 户 相 关 特 征 后 ， 
fr MRR PO N 指标 性 能 方面 对 答案 排名 更 有 效 。 
2.2.2. 构建 新 的 答案 排序 模型 

一 些 研究 学 者 提出 新 的 答案 排序 模型 。H. Toba 
等 ”提出 了 一 种 混合 层次 分 类 模型 ,该 模型 预先 设 定 
6 类 问题 ,计算 每 个 问题 属于 不 同类 别 的 概率 ,然后 在 
6 个 子 问题 分 类 模型 下 计算 答案 质量 ,最 后 结合 问题 
和 答案 分 类 模型 综合 评定 答案 质量 好 坏 , 该 框架 对 于 
识别 高 质量 答案 是 有 效 的 , 相 比 较 于 其 他 模型 准确 度 
更 高 。Y. Shen 等 ' 提出 了 一 种 新 的 体系 结构 ,利用 
包含 词汇 和 顺序 信息 的 相似 矩阵 ,将 信息 放 和 人 深层 体 
系 中 寻找 潜在 合适 的 答案 ,该 方法 在 提高 问答 匹配 精 
度 方面 具有 一 定 的 潜力 ,在 DCG@P 评价 指标 方面 优 


域 的 标准 化 最 佳 答案 数量 和 答案 的 准确 率 来 衡量 用 户 
的 专业 度 包 等 ;此 外 ,不 同类 型 的 问题 对 答案 质量 也 存 
在 一 定 的 影响 , 主要 是 通过 问题 分 类 模型 研究 改善 分 
类 效果 ,提升 信息 保存 价值 等 ;答案 的 回答 时 间 与 
答案 质量 之 间 有 一 定 的 关系 ,用 户 生产 高 质量 的 答案 
需要 花费 更 多 时 间 , 使 用 移动 端 回答 速度 更 快 ,但 是 质 
量 更 低 ,匿名 者 回答 速度 相 比 不 匿名 者 速度 也 更 快 ,但 
是 很 难产 生 高 质量 答案 59 。 
2.1.3 ”投票 者 特征 

S. Geerthik 等 ”从 投票 者 特征 的 角度 出 发 ,构建 


于 基准 算法 。 喜 健 等 ”提出 了 一 种 基于 混合 式 的 社区 
问答 答案 质量 评价 模型 ,该 方法 可 有 效 地 对 答案 进行 
质量 评分 ,在 NDCC@P 评 价 指标 方面 优 于 PLSA 和 
TSPR 模型 。Z. Zhao 等 "提出 了 新 的 基于 RNN 的 异 
构 非 对 称 排序 学 习 模 型 ,该 算法 在 NDCG、P@N、Acceu- 
racy 方面 体现 了 优 于 其 他 先进 算法 的 性 能 。 
2.2.3 构建 回答 者 排序 模型 

还 有 一 些 研 究 者 提出 先 对 回答 者 进行 排序 找到 专 
家 ,然后 直接 将 专家 的 答案 作为 最 佳 答案 。X. Liu 
等 ”提出 了 ZhiHuRank 算法 ,根据 问题 和 专家 领域 的 
链接 结构 和 主题 相似 性 ,确定 了 用 户 权 威 性 的 排名 ,该 


新 颖 有 效 的 答案 排序 模型 ,用 到 的 特征 指标 包括 :回答 
者 的 粉丝 数 、 来 自 粉丝 的 点 赞 数 量 来 自 非 粉 丝 的 点 赞 
数量 、 专 家 点 赞 数 专家 反对 数 、 来 自 该 问题 下 其 他 回 
答 者 的 点 赞 数 . 非 粉丝 的 反对 数 。 崔 宇 佳 等 ” 利用 基 
于 特征 的 Borda Count 排序 投票 法 对 多 评价 标准 的 结 


果 进 行 融合 。 


算法 在 MRR NDCG 性 能 方面 优 于 其 他 算法 。L. Yang 
等 ”提出 了 CQARank 模型 , CQARank 不 仅 可 以 找到 
具有 相似 主题 兴趣 的 专家 ,而 且 可 以 根据 社区 中 的 问 
答 投票 历史 找到 具有 高 度 专业 知识 的 专家 ,该 模型 在 
MRR. P@ N,CDRO P 指标 方面 优 于 其 他 算法 。 刘 瑜 
等 "通过 分 析 用 户 的 行为 ,进一步 提出 RTEM 模型 
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(Related Topic Expertise Model) , RTEM 模型 与 TEM 模 
型 相 比 ,NDCG „Spearman „Kendall 的 效果 更 优 。 
2.3， 研 究 述 评 

综 上 所 述 , 现 有 对 社会 化 问答 社区 答案 排序 研究 
的 成 果 较 多 ,如 从 答案 结构 特征 ,答案 文本 特征 或 回答 
者 特征 维度 选择 答案 排序 特征 ,利用 已 有 经 典 排序 算 
法 或 提出 新 的 排序 算法 对 问答 社区 答案 进行 排序 ,或 
从 回答 者 角度 通过 识别 领域 专家 的 方式 对 答案 进行 排 
序 研究 。 

但 是 目前 研究 依然 存在 不 足 :DD 对 答案 排序 特征 
的 选择 主要 集中 在 答案 特征 和 回答 者 特征 两 方面 ,而 
考虑 投票 者 特征 的 研究 相对 较 少 。@ 多 数 研究 侧重 于 
答案 排序 算法 的 研究 ,而 对 不 同类 别 的 排序 学 习 算法 
进行 对 比分 析 的 研究 相对 较 少 。 针 对 这 两 点 ,本 文 从 
多 编 特 征 角度 试图 构建 答案 排序 特征 体系 ,并 比较 不 
同 排序 算法 在 评价 指标 上 的 性 能 差异 和 分 析 不 同 排序 
等 征 对 于 答案 排序 结果 的 贡献 度 ,最 后 基于 本 文 的 研 
完 嚣 出 社会 化 问答 社区 答案 排序 优化 策略 。 

3 入 会 化 问答 社区 多 维 答案 排序 特征 体系 构建 
社会 化 问答 社区 多 维 答案 特征 

答案 排序 的 目的 是 为 用 户 提供 高 质量 的 回答 , 笠 
案 榴 身 是 衡量 答案 质量 的 直接 因素 。 其 次 ,答案 来 源 
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(form) 。 答 案 中 文字 、 图 片 .链接 等 内 容 种 类 的 个 数 。 
外 部 链接 .图 片 或 图 表 , 可 用 于 证 明 回 答 者 观点 的 正确 
性 和 可 信 度 ,此 外 ,图 片 或 图 表 将 复杂 的 语言 论述 简 
化 ,便于 用 户 理解 。 因 此 ,答案 种 类 丰富 的 回答 更 可 能 
是 高 质量 答案 。 
3.1.2 回答 者 特征 
回答 者 特征 主要 包括 以 下 两 方面 : 
(1) 回 答 者 对 所 答 问题 的 专业 程度 。 回 答 者 的 专 
业 程 度 越 高 ,说 明 回 答 考 越 具 备 回 答 该 问题 的 专业 知 
识 和 特长 ,其 答案 越 有 可 能 是 高 质量 回答 ” 。 本 文 从 
回答 者 提问 、 回 答 的 数量 和 质量 来 衡量 回答 者 的 专业 
度 : 中 回答 者 历史 相似 问题 的 回答 专业 度 (a_aSpecial- 
ty) 。 回 答 者 历史 回答 过 的 相似 问题 越 多 ,答案 的 点 赞 
数 越 多 ,说 明 回 答 者 越 有 可 能 是 该 问题 领域 的 专家 。 
通常 ,专家 的 答案 相 比 于 普通 用 户 的 回答 质量 更 高 ”。 
@ 回 答 者 历史 提问 相似 问题 的 专业 性 (a_qSpecialty ) 。 
回答 者 历史 提问 过 相似 问题 ,说 明 回 答 者 在 回答 该 提 
问 之 前 ,积累 过 相关 知识 ,具有 一 定 的 发 言 权 。 
(2) 回答 者 在 社区 的 影响 力 。 用 户 的 影响 力 来 自 
于 其 可 信任 度 或 专业 能 力 “ ,因此 ,高 社区 影响 力 的 
回答 者 其 答案 质量 可 能 更 高 。 通 常情 况 下 ,用 户 参与 


的 刘 千 性 也 间接 影响 了 答案 质量 。 此 外 ,社会 化 问 秆 
社 全 中 最 核心 的 要 素 是 用 户 , 大 量 用 户 不 断 地 在 平台 
犹 鹃 或 分 享 信息 ,社会 化 问答 社区 为 了 实现 用 户 间 的 
问答 信息 交流 ,引入 一 些 运 营 机 制 ,其 中 包括 投票 机 
制 硼 户 可 以 根据 答案 质量 选择 “ 赞 "或 踩 "的 投票 操 


社区 的 时 间 长 短 、 提 问 和 回答 的 数量 及 质量 、 赞 同 数 、 
粉丝 数量 等 指标 都 能 体现 用 户 的 影响 力 ,本文 主要 从 
以 下 儿 方 面 进行 测量 :中 回答 者 所 获得 的 点 赞 数 (a_ 
voteup) 。 该 特征 反映 了 回答 者 的 社区 贡献 以 及 所 获得 
的 成 就 。@) 回 答 者 被 关注 数量 (a_following ) 。 从 社会 


作 @ 吝 台 会 根据 用 户 的 投票 情况 对 回答 进行 排序 ,投标 
者 对 答案 的 评价 在 一 定 程度 上 也 表明 了 答案 质量 的 高 
低 。 因 此 ,本 文 从 答案 特征 、 回 答 者 特征 以 及 投票 者 特 
征 3 方面 构建 答案 排序 的 特征 集合 。 
3.1.1 答案 特征 

答案 特征 最 重要 的 是 答案 质量 ,本 文 从 以 下 4 个 
方面 对 答案 质量 进行 测量 :GD 答案 长 度 (length) 。 回 答 
越 长 表明 了 答案 所 含 信息 量 越 大 , 即 答案 长 度 与 答案 
所 包含 的 信息 成 正比 ,同时 答案 长 度 也 反映 了 回答 
者 的 努力 程度 ” 。 回 答案 与 问题 的 相似 度 (similari- 
ty) 。 从 语义 层面 反映 了 答案 的 质量 ,答案 与 问题 主题 
间 的 相似 度 越 高 ,说 明 答案 与 问题 的 语义 越 接近 ,答案 
更 有 可 能 解决 提问 者 的 信息 需求 。 与 问题 相似 度 较 低 
的 答案 ,通常 是 无 用 的 回答 ,应 该 被 过 滤 掉 5 。 国 答案 
[ei Mii entropy) o f Ei RT PLI BUE SE I Ae PENE, A 
Ae [ELE ELEC RE E VALERE RE ELEC 


网 络 视角 分 析 ,被 关注 数 反映 了 个 体 在 社会 网 络 中 所 
拥有 的 社会 资本 。 被 关注 数 越 多 ,说 明 回答 者 的 影响 
力 越 大 。@) 回 答 者 的 回答 数量 (a_aNum ) 。@ 由 回答 者 
的 提问 数量 (a_qNum) 。 这 两 个 指标 也 反映 了 回答 者 
的 社区 参与 度 和 贡献 。 
3.1.3 投票 者 特征 

大 多 数 问答 社区 以 大 众 投票 对 答案 进行 排序 , 投 
票 者 对 答案 的 评判 (点 赞 或 反对 ) 可 以 反映 答案 质量 。 
S. Geerthik 45 认为 ,车 管 案 A 中 意见 领袖 的 点 赞 数 
高 ,那么 答案 A 应 该 排 在 答案 B 前 面 ;同样 地 , 若 答案 
A 中 意见 领袖 的 反对 数 较 高 ,那么 答案 A 应 该 排 在 答 
3€ B 后 面 。 同 时 在 社会 化 问答 社区 中 ,投票 者 对 答案 
也 起 到 了 再 传播 的 作用 ,投票 者 对 答案 的 态度 可 能 影 
响 其 他 用 户 对 答案 的 认 知 。 因 此 ,投票 者 特征 影响 了 
答案 排序 。 投 票 者 包括 点 赞 者 和 反对 者 两 类 用 户 , 某 
一 答案 点 赞 者 的 权威 性 越 高 ,反对 者 的 权威 性 越 低 , 那 
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么 该 回答 越 应 排名 靠 前 ,反之 ,排名 应 靠 后 。 为 了 维护 
社区 和 谐 氛围 ,问答 社区 不 显示 答案 的 反对 票数 以 及 
反对 者 信息 ,我 们 无 法 获取 到 反对 者 数据 。 因 此 ,本 文 
仪 考虑 点 赞 者 特征 对 答案 排序 的 影响 。 本 文 从 以 下 两 


个 方面 对 点 赞 者 的 权威 性 进行 测量 :点 赞 者 平均 所 获 
点 赞 数 (v_voteup) 、 点 赞 者 平均 粉丝 数 (v_following) 。 

本 文 涉及 到 的 答案 排序 特征 及 其 计算 方法 如 表 1 
所 示 : 


表 1 答案 排序 特征 及 计算 方法 


特征 类 型 特征 名 称 英文 缩写 计算 方法 
答案 特征 答案 长 度 length 答案 包含 汉字 ,英文 词 .数字 数量 
答案 与 问题 主题 相似 度 similarity 主题 模型 + 余弦 相似 度 
^5 2 fei I entropy fe AC 
答案 种 类 form 答案 文字 .图 片 链接 等 内 容 种 类 的 个 数 
EAA RE 可 答 者 历史 相似 问题 的 回答 专业 度 a_aSpecialty Xhas;vi 
回答 者 历史 提问 相似 问题 的 专业 性 a_qSpecialty D1 si0; 
回答 者 所 获得 的 点 赞 数 a voleup 回答 者 累积 获得 的 点 赞 数 
回答 者 被 关注 数量 a_following 回答 者 被 其 他 用 户 关 注 的 数量 
q= 回答 者 的 回答 数量 a_aNum 回答 者 历史 回答 问题 数量 
> 回答 者 的 提问 数量 a_qNum 回答 者 历史 提问 题 的 数量 
CN 投票 者 特征 点 赞 者 平均 所 获 点 赞 数 v. voteup EE Fs V CD PETAT TS] (E. 
Y^ 点 赞 者 平均 粉丝 数 v_following 答案 下 点 赞 者 粉丝 数 的 均值 
389 知 平 社区 多 维 答案 特征 体系 构建 分 析 表 2 答案 特征 值 
< 本 研究 的 实验 对 象 为 知 乎 , 疏 虫 想到 了 知 乎 的 问 PT m n i 
A E FH P1 i , EREDUEI 1 976 个 问题 、 length 143 form ! 
1 11 条 答案 以 及 71 280 个 回答 者 信息 和 2 632 660 similarity 0.57 a. aSpecialty 26.587 
SERE. EUG I PCR SHE CER LER d p bon p 
WEB A er JG p CD HON BR EUR JC ROBORE, vdd e adi » 
本 交 实 际 用 于 实验 分 析 的 数据 共 05 021 条 答案 及 相 M m T 


XOU. AEN TE AO BORDET RME, REA R 
E astu qan dubie 
TS AA BURZE di, A T e e t A e H 
标 体系 。 
(1) 按 照 表 工 答案 排序 特征 的 计算 方法 进行 特征 
计算 ,可 得 表 2。 


(2) 本 文采 用 最 小 值 - 最 大 值 标准 化 的 方法 ,将 
实验 数据 值 映射 到 [0,1] 区 间 。 标 准 化 以 后 的 实验 数 
据 是 [10,1] 之 间 的 连续 正 态 分 布 变量 ,因此 本 文选 择 
皮 
案 


尔 森 相关 数 法 计算 各 变量 之 间 的 相关 系数 ,构建 答 
排序 特征 相关 系数 矩阵 ,如 表 3 所 示 : 


RI 答案 排序 特征 相关 系数 矩阵 
length similarity entropy form a aSpecialtya qSpecialty a voteup a following a aNum a qNum v voteup v. following 

length 1 -0.02 0.68 0.21 0.06 0.04 0.06 0. 03 0.01 0.03 0. 07 0.11 

similarity 1 0.07 -0.01 0 -0.01 0 -0.01 0 -0.01 0 0 
entropy 1 0.15 -0.02 -0.03 -0.02 -0.06 -0.08 -0.05 -0.02 0.02 
form 1 0.06 0.04 0.06 0.04 0.02 0.03 0. 07 0.09 
a_aSpecialty 1 0.36 0.96 0.32 0.6 0.34 0. 11 0.17 
a, qSpecialty 1 0.37 0.31 0.39 0.67 0. 11 0.14 
a voleup 1 0.33 0.61 0.35 0.12 0.18 
a. following 1 0.4 0.37 0.14 0.18 
a_aNum 1 0.48 0.11 0.18 
a_qNum 1 0.11 0.15 
v_voteup 1 0.3 


v. following 
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(3) 筛选 变量 ,构建 指标 体系 。Pearson 相关 系数 
的 绝对 值 越 大 ,变量 的 相关 关系 越 强 , 绝 对 值 越 小 ， 
变量 的 相关 关系 越 弱 ,其 中 ,0. 8 - 1 表明 极 强 相关 ， 
0.6-0.8 为 强 相关 ,0.4 -0.6 为 中 等 程度 相关 ,0.2 
-0.4 为 弱 相 关 ,0 - 0. 2 为 极 弱 相关 或 者 无 相关 。 
本 文 综合 考虑 变量 的 数量 与 相关 系数 的 数值 ,认为 
应 取 0.4 为 阔 值 ,相关 系数 大 于 0.4 为 相关 ,小 于 0.4 
为 不 相关 。 答案 信息 炉 (entropy) 和 答案 长 度 
( length ) 相关 系数 为 0.68 ,表明 两 者 呈正 相关 ,答案 
[i li Centropy ) 与 答案 长 度 (length ) 都 能 衡量 答案 
的 信息 内 容 , 答 案 信 息 粹 是 量化 答案 信息 的 重要 概 
念 , 相 比 于 答案 长 度 , 更 能 体现 答案 信息 的 信息 质 
,根据 特征 对 信息 量化 模型 的 拟 合 优 度 贡 献 程度 
合 痉 变量 length。 回 答 者 历史 相似 问题 的 回答 专业 
HECG. aSpecialty ) 与 回答 者 历史 回答 数 (a_aNum ) 的 
相关 系数 为 0. 60 .与 回答 者 所 获得 的 总 点 攀 数 (a_ 
cup) 的 相关 系数 为 0. 96 ,回答 者 历史 相似 问题 的 
Ft JE ( a. aSpecialty ) 的 数据 来 源 是 回答 者 的 历 
由 图 答 的 问题 集合 Q 以 及 历史 回答 所 获得 的 点 赞 数 
EZ v ,而 回答 者 的 历史 回答 的 问题 集合 Q 中 包含 回 
的 回答 数量 (a_aNum) ,历史 回答 所 获得 的 点 移 
NOR V 中 包含 回答 者 所 获得 的 点 半数 (a_voteup ) ， 
于 此 保留 综合 指标 a_aSpecialty。 同 理 ,回答 者 历史 
提 兽 相似 问题 的 专业 性 (a_qSpecialty) 和 回答 者 历史 
JAA Ca qNum) 相关 系数 为 0.67 ,保留 综合 指标 变 
Er dSpecialty。 删 除 特征 length a aNum ,a, voteup,a 
一 om 后 ,其 他 特征 的 相关 系数 均 小 于 0.4。 
Cc] R S ha] BI E BUREAU A 
案 种 类 .回答 者 历史 相似 问题 的 回答 专业 度 .回答 者 
历史 提问 相似 问题 的 专业 性 .回答 者 的 粉丝 数 、 点 赞 
者 平均 所 获 点 赞 数 、 点 赞 者 平均 粉丝 数 共 8 个 特征 作 
为 最 终 的 特征 集 。 本 文 所 构建 的 答案 排序 特征 体系 
如 图 1 所 示 , 与 已 有 答案 排序 特征 体系 相 比 ,本 文 综 
合 考虑 了 答案 .回答 者 以 及 投票 者 的 特征 。 已 有 研 
究 选取 答案 和 回答 者 特征 构建 指标 体系 ,或 仅 从 投 
票 者 维度 选取 指标 构建 答案 排序 模型 ,未 从 这 3 个 维 
度 综合 选取 排序 特征 。 其 次 ,本 文 从 理论 研究 的 角 
度 选 取 社 会 化 问答 社区 答案 排序 特征 集 后 ,采用 
Pearson 相关 系数 的 方式 选择 特征 ,构建 稳定 的 答案 
排序 特征 体系 。 而 大 多 数 已 有 研究 缺少 对 特征 进行 
选择 的 环节 ,会 影响 排序 算法 的 性 能 。 


G 


L 


lim 
T 


答案 排序 指标 体系 
| 

TE Be a ee ee ee i 
Jal | 等 | llm] | 加 | | 加 | 省 点 | | 点 | 
|3 i EE | 答 | ou" st 
外 与 信 | | 种 | ,| 者 | | 者 | | 者 | 中 者 | | 者 |' 
'| 息 | | 美 | Ej | 历 | 9 ux x 
JE [du Jej (Æj [£5 均 |， 
,| 相 ,| 回 | | 提 | DEDE) | 粉 |， 
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| EE Jej | 专 EE 5 
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答案 特征 回答 者 特征 '， 投票 者 特征 


1 答案 排序 特征 体系 


4 基于 多 维特 征 的 社会 化 问答 社区 答案 
排序 实验 分 析 

本 实验 的 研究 任务 有 两 个 ,一 是 比较 不 同 算法 的 
性 能 ,二 是 比较 不 同 答案 排序 特征 的 重要 性 ,为 社会 化 
问答 社区 答案 排序 任务 评估 排序 特征 和 排序 方法 。 本 
实验 的 大 致 流程 如 图 2 所 示 : 


ee] 


[ l 


比较 算法 的 性 能 比较 排序 特征 重要 性 


实验 流程 | 
准备 数据 10 份 实验 数据 
10 折 交叉 验证 TE : 
WE. ERE] c 
数据 集 ETEF 
确定 参数 
ETUDES 


分 别 在 10 份 数据 集 上 训练 并 测试 模型 
根据 NDCG、MRR 评估 模型 效果 
取 10 次 实验 评价 均值 作为 该 参数 值 下 


模型 的 效果 


模型 效果 最 佳 的 参数 值 选 为 实验 
参数 值 


确定 参数 值 时 模型 效果 即 
为 模型 测试 效果 值 


根据 scikit-learn 库 中 随机 
森林 分 类 算法 的 feature 


通过 图 表 可 视 化 的 方式 对 
比分 析 不 同 算法 的 性 能 


importances 得 到 不 同 排序 
特征 的 重要 性 


图 2 社会 化 问答 社区 答案 排序 实验 设计 


4.1 基于 多 维特 征 的 社会 化 问答 社区 答案 排序 实验 
过 程 
4.1.1 实验 工具 

现 有 排序 学 习 数 据 相 关 性 标注 策略 通常 指定 文档 
是 否 与 查询 相关 (如 二 进 制 判断 1 或 0) ,或 进一步 指 
定 相 关 程 度 ( 如 多 种 有 序 类 别 ,Perfect ,Excellent , Good, 
Fair,Bad) ^" 。 该 相关 性 判定 多 采用 人 工 进行 标注 ,人 
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工 标注 结果 质量 高 ,但 成 本 较 大 。T.， Joachims 47 
提出 一 种 巧妙 的 方法 , 利用 搜索 引擎 的 点 击 数据 获得 
文档 相关 性 的 标注 。 本 文 借鉴 该 研究 思想 ,利用 答案 
的 点 赞 数 作为 相关 性 判断 的 依据 。 社 会 化 问答 社区 设 
置 了 投票 机 制 ,用 户 可 以 点 赞 对 自己 有 用 的 答案 ,也 可 
以 点 踩 对 自己 无 用 的 答案 。 用 户 投票 类 似 于 同行 评审 


的 整体 评价 ,而 MRR 是 相对 简单 的 一 种 评价 指标 , E 
要 衡量 的 是 最 准确 的 答案 在 列表 中 的 位 置 ,其 位 置 越 
靠 前 , MRR 值 越 高 。 可 以 看 出 ,NDCG@Kk 与 MRR 虽然 
都 是 对 答案 排序 的 评价 ,但 是 关注 的 对 象 不 同 ,前 者 更 
关心 整个 答案 列表 ,而 后 者 更 关心 最 准确 的 答案 。 本 
文采 用 NDCGO k 和 MRR 的 目的 是 通过 不 同 的 评价 指 


机 制 ,用 户 在 投票 的 过 程 中 虽 存 在 一 定 的 主观 性 ,但 已 
被 证 明 大 众 参 与 的 投票 模式 在 一 定 程度 上 是 有 效 
的 2 。 由 于 无 法 爬 取 到 知 乎 社区 答案 反对 数据 , 因 
此 ,本 文 仅 根据 答案 点 赞 数 对 答案 相关 性 进行 标注 ,将 
答案 点 攀 数 大 于 平均 点 赞 数 的 标记 为 1 ,将 答案 点 攀 
数 小 于 平均 点 玩 数 的 标记 为 0, 这 种 标注 方式 相对 粗 
放 , 但 是 在 本 研究 中 ,由 于 数据 中 答案 的 区 分 度 相对 较 
低 * 采 用 细 粒 度 的 标注 会 为 后 面 的 研究 带 来 更 大 的 误 
差 5 尖 虑 到 标注 的 粒度 不 是 研究 的 重点 ,因此 研究 在 标 
法 时 采取 粗 粒 度 的 区 分 方式 。 根 据 该 方法 ,本 实验 将 
30761 条 实验 数据 标记 为 1,64 760 条 实验 数据 标记 


本 文采 用 的 11 种 排序 算法 及 其 开源 工具 如 表 4 


表 4 本 研究 使 用 的 排序 算法 与 工具 


标 来 对 算法 进行 衡量 。 
4.2 ”以 深度 学 习 排序 算法 为 例 的 实验 分 析 

本 文 以 深度 学 习 排 序 算法 为 例 演示 实验 流程 。 实 
验 流程 包含 3 个 部 分 :准备 数据 集 、 确 定 实 验 参数 值 、 
对 比 不 同 排序 算法 在 评价 指标 上 的 排序 表现 。 算 法 参 
数值 的 选取 很 重要 ,参数 值 选择 不 当 会 导致 模型 出 现 
过 拟 合 和 欠 拟 合 的 情况 ,进而 影响 到 算法 的 排序 性 能 。 
本 实验 主要 演示 深度 学 习 排 序 算法 的 参数 值 选 择 的 过 
程 。 

本 文 将 num_features 设置 为 了 实验 数据 集中 每 个 
答案 的 特征 数 8, 然 后 重点 对 num_train_steps( 训练 步 
数 ) 参 数 进行 了 调节 ,其 余 参 数 均 保 持 默 认 值 不 变 。 首 
先 , 本 文 先 将 num_train_steps 设置 为 20 000 ,算法 训练 
过 程 中 评价 指标 的 变化 如 图 3 所 示 。 可 以 发 现 当 num 

train. steps 大 致 在 [6 000 ,10 000] 的 取 值 范围 内 ,评价 


e. 算法 开源 工具 | 序号 算法 源 工具 
I. = Ranking SVM SVMRank 7 MART RankLib 
RankNet RankLib 8 LambdaMART RankLib 
ListNet RankLib 9 Linear Regression RankLib 
M ^ RankBoost RankLib 10 Coordinate Ascent RankLib 
== AdaRank RankLib 11 Deep Learning TF-Ranking 
gms Random Forest RankLib 


4.1.2. 评价 指标 

本 文采 用 NDCG@ k 和 MRR 两 种 指标 衡量 各 个 排 
序 算法 性 能 。NDCG 考虑 文档 的 多 级 相关 度 , 根 据 文 
档 在 结果 列表 中 的 位 置 测量 文档 的 有 用 性 ,是 衡量 排 
名 质量 的 重要 指标 。k 表示 对 于 前 k 位 的 排序 结果 计 
$$ NDCG 值 ,本 文 k 分 别 取 值 1,3,5 和 10。MRR 则 只 
关注 排序 结果 中 第 一 个 文档 的 相关 性 ,用 户 通常 从 上 
往 下 浏览 答案 , 当 找 到 合适 的 答案 时 就 结束 本 次 搜索 ， 


指标 值 处 于 最 优 状态 旦 趋势 较为 平稳 , 当 num, train. 
steps 大 于 10 000 时 ,算法 的 性 能 变 差 。 因 此 ,本 文 分 
别 将 num, train, steps 设置 为 6 000 ,7 000 8 000 .9 000 , 
10 000 进行 实验 ,根据 评价 指标 的 大 小 ,选择 最 优 的 参 
数 估计 值 。 

以 num_train_steps =7 000 为 例 , 对 深度 学 习 排 序 
算法 进行 10 折 交 义 验 证 。 分 别 得 到 10 次 训练 7 000 
次 的 评价 指标 值 并 计算 这 10 次 实验 结果 的 平均 值 , 作 
为 num_train_steps =7 000 时 深度 学 习 排 序 算法 的 性 能 
评价 ,结果 见 表 5。 

根据 以 上 实验 步骤 ,num_train_steps 为 不 同 值 时 ， 
深度 学 习 排 序 算法 的 性 能 评价 结果 如 表 6 所 示 。 综 合 
比较 , 当 num. train, steps 取 8 000 时 ,深度 学 习 排 序 算 
法 的 性 能 最 好 ,因此 ,本 文 将 num. train. steps 的 实验 值 


NDCG@ k 是 最 常用 的 衡量 排序 结果 的 指标 ,主要 是 评 
价 答案 排序 列表 的 质量 好 坏 , NDCG 有 两 个 准则 ,一 是 
相关 程度 高 的 结果 对 NDCG 的 影响 更 大 ,二 是 相关 程 
度 高 的 结果 越 靠 前 ,NDCG 的 值 越 高 , 男 外 ,NDCG 会 考 
k 个 答案 组 成 的 排序 列表 与 理想 答案 排序 列表 的 差 
,因此 NDCG 主要 是 对 个 答案 所 组 成 的 排序 列表 


rm 肌 


Ip d 


定 为 8 000, 
4.3 实验 结果 分 析 
4.3.1 模型 效果 分 析 

分 别 对 排序 学 习 算 法 进行 10 折 交 叉 验 证 ,确定 了 
算法 的 参数 值 ,并 以 10 次 实验 结果 的 平均 值 作为 排序 
算法 的 评价 结果 ,实验 结果 见 表 7。 


108 


DA, da, 


ChinaXiv 合 作 期 刊 


JH. 多 维特 征 下 社会 化 问答 社区 答案 排序 研究 [J]. 图 书 情报 工作 ,2020 ,64(17):103 - 113. 


metric/ndcg@1 


0.640 | 


0.000 4.000k 8.000k 12.00k 16.00k 20.00k 


metric/ndeg(?5 


0.640 
0.630 
0.620 
0.610 
0.600 
0.590 
0.580 


0.000 4.000k 8.000k 12.00k 16.00k 20.00k 


metric/ndcg(?3 


0.605 
0.595 
0.585 


0.575 


0.565 


0.000 4.000k 8.000k 12.00k 16.00k 20.00k 


metric/ndcg(?10 


0.680 | 
0.670 | 
0.660 | 
0.650 | 
0.640 | 


0.000 4.000k 8.000k 12.00k 16.00k 20.00k 


0.000 4.000k 8.000k 12.00k 16.00k 20.00k 


图 3 深度 学 习 排序 算法 训练 过 程 中 评价 指标 的 变化 


Yu metric/mrr 

e 0.780 | 

y= 0.770 | 

= | 

e 0.760 | 

e ozo 

E 

e 

Co 

e num train steps =7 000 时 算法 指标 评价 详情 数据 

Maa NDCC@1 NDCG@3 NDCG@5 NDCG@10 MRR 
D 0.644 7 0.608 1 0.632 4 0.683 7 0.7843 
» 0.614 2 0.603 6 0.628 6 0.683 5 0.769 6 
i 0.588 8 0.582 2 0.586 9 0.645 1 0.756 5 
*4— 0.705 6 0.622 5 0.642 7 0. 692 2 0.819 5 
5 0.614 2 0.616 3 0.628 4 0.688 0.774 9 
6 0.680 2 0.622 9 0.627 5 0.681 8 0. 804 
7 0.629 4 0.600 4 0.6212 0.683 2 0.774 
8 0.710 7 0.652 3 0.660 5 0.694 0.827 2 
9 0.685 3 0.634 0.640 3 0.677 3 0.810 1 
10 — 0.7411 0.641 7 0.633 7 0.658 0. 844 2 

均值 0.6614 0.6184 0.630 2 0.678 7 0.796 4 


表 6 num train steps 取 不 同 值 时 算法 性 能 比较 


num_train_steps 


Hub NDCG@1 NDCG@3 NDCG@5 NDCG@10 MRR 

6 000 0.6635 0.618 1 0.6302 0.6787 0.796 9 
7 000 0.6614 0.6184 0.6302 0.6787 0.796 4 
8 000 0.668560 — 0.6243 0.6341 0.6799 0.7995 
9 000 0.6452 0.6126 0.6244 0.6749 0.786 7 
10 000 0.6599 0.6191 0.6296 0.6804 0.7971 


表 7 排序 学 习 算法 性 能 比较 


排序 学 习 算 法 NDCG@1 NDCG@3 NDCG@5 NDCG@10 MRR 
Ranking SVM 0.5421 0.5001 0.5090 0.5589 0.7101 
RankNet 0.5746 0.5264 0.5209 0.5707 0.7265 
ListNet 0.5071 | 0.4839 0.5059 0.5643 0.6888 
RankBoost 0.5833 0.5502 0.5573  Á 0.6030  Á 0.7428 
AdaRank 0.3254 0.3325  Á 0.3612 0.4436 0.5419 
Random Forest 0.653 3 0.6110 0.6177 0.66385  À 0.7934 
MART 0.6533 0.6110  Á 0.6168 0.6627 0.7931 
LambdaMART 0.6366 | 0.6071 0.6005 0.6531 0.7819 
Linear Regression 0.4162 . 0.4082 0.4447 0.5253 0.6208 
Coordinate Ascent 0.5609 — 0.5176 0.5182 0.5670 0.7237 
Deep Learning 0.6650 — 0.6243 0.6341 0.6799 0.7995 


从 输入 数据 样 例 (或 损失 函数 ) 分 类 角度 进行 分 
析 , 同 为 神经 网 络 排 序 学 习 算 法 的 RankNet 和 ListNet 
相 比 较 , 基于 Pairwise 的 RankNet (学 习 率 T = 
0.000 05 ) 算 法 在 NDCG@k 和 MRR 指标 上 ,表现 均 优 
于 基于 Listwise 的 ListNet (学习 率 lr 2 0. 000 05 ) 算法 。 
同 为 树 排序 学 习 算 法 的 MART 和 LambdaMART 相 比 
较 , 基 于 Pairwise 方法 的 MART( 学 习 率 shrinkage or lr 
=0.05 ) 算 法 在 评价 指标 上 均 略 优 于 基于 Listwise 的 
LambdaMART( 学 习 率 shrinkage or lr =0.01) 算 法 。 同 
样 地 , 同 为 提升 排序 学 习 算 法 的 RankBoost 和 AdaRank 
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相 比 较 , 基 于 Pairwise 方法 的 RankBoost 算法 在 评价 指 
标 上 均 优 于 基于 Listwise 的 AdaRank( 连续 两 轮 学 习 之 
间 的 误差 tolerance 20.002) 算法。 实验 结果 表明 基于 
Listwise 的 排序 方法 不 一 定 比 基于 Pairwise 和 Pointwise 
的 排序 方法 好 ,其 原因 可 能 是 Listwise 排序 方法 虽然 考 
虑 了 同一 问题 下 的 答案 序列 关系 ,但 其 很 难 找到 合适 
的 目标 代替 原 有 优化 目标 ,也 很 难 找到 合适 的 优化 算 
法 求解 目标 。 

从 机 器 学 习 技 术 分 类 角度 进行 分 析 , 不 同 机 器 学 
习 技 术 的 排序 算法 在 知 乎 问答 社区 数据 集 上 表现 性 能 
各 不 相同 。 首 先 ,基于 深度 学 习 的 排序 学 习 算法 Deep 
Learning( 训练 步 数 num, train, steps = 8000 ) Æ NDCG@ 
k 和 MRR 指标 上 均 优 于 其 他 算法 。 其 次 ,基于 树 的 排 


本 分 为 两 类 的 程度 。 
p, 7 CORR r 的 样本 总 数 n 中 ,k 类 样本 数量 


H n, 的 分 数 ,其 中 ke 10,1] ,那么 ,基尼 不 纯度 表示 
为 : 


i(7)= 1-pi - po X (1) 
根据 变量 9 BUE t. n T 的 样本 被 分 割 给 两 


个 子 节 点 7, 和 7,( 具 有 各 自 的 样本 分 数 p, =A p, = 


站 ,那么 ,节点 7 的 基尼 不 纯度 减 小 A,Ai 表示 为 : 


Ai(7)= i(r) -pi(7) -p,i(7,) | X (2) 
在 对 证 点 上 所 有 可 用 变量 9 的 穷尽 搜索 中 (随机 
森林 将 搜索 限制 在 可 用 特征 的 随机 子 集 ” ) ,并 在 所 


序 学 习 算 法 Random Forest (学 习 率 shrinkage or lr = 
0.1) MART (学习 率 shrinkage or lr =0.05)、Lamb- 
daMART( 学 习 率 shrinkage or lr =0.01) 表 现 也 要 优 于 


法 容易 发 生 过 拟 合 , Random Forest 是 由 多 棵 树 组 
左 每 棵 树 仅 学 习 特征 集 的 部 分 特征 ,最 终 分 类 结果 由 
拓 有 峙 投票 决定 ,因此 Random Forest 可 以 在 很 大 程度 
JE 袁 少 过 拟 合 。 最 后 ,基于 提升 的 排序 方法 Rank- 
Boost 基于 支持 向 量 机 的 Ranking SVM( 正则 化 参数 c 
0701) .基于 神经 网 络 的 排序 方法 RankNet( 学 习 率 Ir 
50:000 05) 以 及 基于 梯度 上 升 的 排序 方法 Coordinate 
Aseaht( 两 种 方案 间 的 性 能 误差 tolerance =0. 001 ) 的 性 
能 相对 AdaRank ( 连续 两 轮 学 习 之 间 的 误差 tolerance = 
0:902) ListNet ( 5 2] 3& lr = 0. 000 05) „Linear Regres- 
sion( 正则 化 参数 L2 =1.0E - 10) 算 法 要 好 。 
4.3.2 特征 重要 性 分 析 

为 了 分 析 答 案 排 序 特征 体系 各 个 指标 的 重要 性 ， 
本 文选 取 随 机 森林 算法 进行 特征 重要 性 评估 。 随 机 森 
林 算 法 的 思想 是 判断 每 个 指标 特征 在 每 个 树 节点 上 做 
了 多 大 的 贡献 ,然后 取 平 均值 并 比较 特征 之 间 的 贡献 
大 小 。 作 为 分 类 器 ,随机 森林 使 用 * 强 变量 "的 一 个 小 
子 集 进行 隐 式 特征 选择 ,这 使 得 它 在 高 维 数据 上 具有 
优异 的 性 能 2 。 随 机 森林 的 隐 式 特征 选择 的 结果 可 


有 可 能 的 阔 值 w E, 10.6, 对 可 以 确定 最 大 Ai。 基尼 
不 纯度 的 减 小 是 由 于 森林 中 所 有 树 T 上 的 所 有 节点 
的 最 佳 分 割 Ai,(7,7) 的 积累 ,对 于 每 个 变量 6: 
1.(0) = XX AiG.T) (3) 
基尼 重要 性 指数 G 表明 了 选择 特定 特征 0 进行 分 
制 的 频率 以 及 该 特征 对 于 分 类 问题 的 整体 识别 值 有 多 
根据 随机 森林 算法 计算 得 到 的 特征 重要 性 如 图 4 
所 示 :@D 投 票 者 的 特征 . 点 先 者 所 获得 的 点 次 数 均值 、 
点 赞 者 的 粉丝 数 均值 两 个 指标 得 分 最 高 ,说 明 投票 者 
所 具有 的 影响 力 越 大 ,投票 者 对 答案 做 出 的 评价 越 能 
反映 答案 的 质量 。@ 答 案 特征 . E RU SERERE 
与 问题 的 相似 性 两 个 指标 得 分 较 高 ,答案 内 容 的 丰富 
程度 答案 与 问题 的 语义 相似 度 是 客观 反映 答案 质量 
的 指标 ,答案 内 容 越 丰富 ,答案 与 问题 的 语义 越 相近 ， 
答案 的 质量 越 高 ,答案 越 应 该 排 到 前 面 。 但 答案 形式 
的 多 样 性 重要 性 最 低 , 说 明 相对 于 答案 的 外 在 表现 形 
式 ,问答 社区 用 户 更 加 重视 答案 的 内 容 。@ 回 答 者 特 
征 。 可 以 发 现 回答 者 历史 相似 问题 的 回答 专业 度 与 回 
答 者 的 影响 力 ( 粉丝 数 ) 两 个 指标 比 回答 者 历史 提问 
相似 问题 的 专业 性 指标 更 重要 。 因 为 回答 者 历史 回答 
过 的 相似 问题 越 多 ,答案 的 点 先 数 越 多 ,说 明 回答 者 越 
有 可 能 是 该 问题 领域 的 专家 。 通 常 ,专家 的 管 案 相 比 


以 通过 “基尼 重要 性 ”进行 可 视 化 ,并且 可 以 作为 特 
征 相 关 性 的 一 般 指标 。 这 种 特征 重要 性 评分 提供 了 特 
征 相对 排序 的 方法 ,并 且 在 技术 实现 上 是 随机 森林 分 
类 器 训练 的 副产品 :在 随机 森林 的 二 叉 树 了 中 的 每 个 
节点 7, 使 用 基尼 不 纯度 (Cr) (对 烂 的 有 效 近 似 计算 ) 


于 普通 用 户 的 回答 质量 更 高 。 而 回答 者 历史 提问 相似 
问题 的 专业 性 指标 仅 能 说 明 回答 者 历史 提问 过 相似 问 
题 并 获得 过 一 些 回 答 ,但 还 是 无 法 准确 衡量 用 户 是 否 
掌握 该 话题 领域 的 专业 知识 。 


5 ”社会 化 问答 社区 答案 排序 优化 策略 


寻求 最 佳 分 割 , 用 于 测量 潜在 分 割 在 特定 节点 上 将 样 


根据 社会 化 问答 社区 答案 排序 研究 结果 ,并 结合 
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4 特征 重要 性 对 比分 析 


问答 社区 所 面临 答案 排序 无 法 有 效 满足 用 户 需求 的 现 
实 困 境 , 本 文 从 答案 排序 方式 的 多 样 性 和 答案 排序 算 
浇 的 综合 性 提出 答案 排序 优化 策略 。 

5 村 增加 答案 排序 方式 的 多 样 性 

中 本 文通 过 理论 分 析 和 数据 检验 最 终 确定 了 8 AHE 
岸 担 标 ,并 根据 实验 结果 分 析 了 8 个 排序 指标 的 相对 
重要 性 。 以 本 文 的 答案 排序 指标 体系 为 例 ,为 社会 化 
问 春 社 区 提供 多 样 排序 选择 的 优化 策略 : 

AO ) 根 据 信息 精 或 答案 与 问题 的 主题 相似 度 特征 
对 同一 问题 下 的 答案 进行 排序 。 答 案 与 问题 的 相似 度 
从 语义 层面 反映 了 答案 与 问题 的 相似 程度 ,而 答案 信 
总 吴 反 映 了 答案 的 内 容 丰 富 度 。 将 答案 与 问题 的 相似 
BER e et c cte Ht MTE RT DAE FH P S 
HÉERISE 4e A E EL S3 IRE EEA T 
将 时 提问 无 关 、 拌 机 灵 的 答案 排 在 了 后 面 , 节 省 了 用 户 
选择 该 类 答案 的 时 间 成 本 。 同 时 ,增加 了 回答 者 ( 并非 
大 V 但 认真 回答 问题 的 用 户 ) 的 满足 感 和 成 就 感 , 激 
励 其 持续 分 享 知识 的 意愿 ,为 社区 平台 增强 了 用 户 粘 
性 。 


《2) 根 据 答 案 种 类 特征 (或 是 否 包含 图 片 ` 超 链接 
等 特征 ) 对 同一 问题 下 的 答案 进行 排序 。 答 案 种 类 包 
括 答案 文字 BA .链接 等 内 容 。 知 乎 问答 社区 中 答案 
一 般 都 很 元 长 ,有 的 用 户 可 能 更 希望 看 到 简洁 、 清 晰 的 
论述 ,如 使 用 图 片 或 图 表 将 复杂 的 语言 论述 简化 。 也 
有 的 用 户 可 能 更 希望 看 到 高 可 信和 度 的 答案 ,如 答案 中 
引用 他 人 观点 .文献 等 。 

(3) 根 据 回答 者 的 领域 专业 度 对 同一 问题 下 的 答 
案 进 行 排序 。 领 域 专家 的 回答 也 许 答 案 并 不 长 ,也 没 


户 来 说 可 能 更 倾向 于 浏览 领域 专家 的 回答 ,以 便 快速 
地 获取 专业 知识 ,节省 时 间 成 本 。 

(4) 根 据 投 票 者 的 影响 力 对 同一 问题 下 的 答案 进 
行 排序 。 相 较 于 善 通用 户 对 答案 的 点 赞 或 点 踩 , 用 户 
可 能 更 看 重大 V( 或 领域 专家 ) 对 答案 的 评价 。 

5.2 提高 答案 排序 算法 的 综合 性 

本 文 从 答案 特征 .回答 者 特征 .投票 者 特征 3 个 维 

度 对 答案 排序 特征 进行 了 提取 并 分 析 了 其 对 答案 排序 
的 重要 程度 。 问 答 社 区 中 除了 本 文 仆 取 到 的 原始 数据 
类 型 以 外 ,还 包含 有 大 量 的 数据 类 型 ,如 用 户 的 点 击 流 
数据 ,用 户 访 问 时 间 、 访 问 频次 .访问 地 点 以 及 海量 的 
后 端 特征 日 志 数 据 。 社 会 化 问答 社区 开发 人 员 可 以 据 
此 进行 数据 挖掘 ,提炼 出 丰富 的 答案 排序 特征 集 。 此 
外 ,本 文 还 比较 了 基于 深度 学 习 、 树 、 文 持 向 量 机 、 提 升 
等 的 排序 算法 在 社会 化 问答 社区 数据 集 上 的 适用 性 。 
结果 表明 ,基于 深度 学 习 的 排序 学 习 算法 在 NDCGG k 
和 MRR 指标 上 的 性 能 均 优 于 其 他 排序 算法 。 深 度 学 
习 是 近年 来 发 展 迅 速 的 技术 ,已 经 成 功 应 用 于 语音 识 
别 图 像 识别 自然 语言 处 理 等 多 个 领域 。 目 前 也 有 很 
多 学 者 将 卷 积 神经 网 络 .递归 神经 网 络 等 算法 与 排序 
学 习 研 究 相 结合 ,并 取得 了 可 喜 的 研究 成 果 。 深 度 学 
习 相 较 于 传统 的 机 咒 学 习 方 法 ,有 两 大 优点 : 
(1) 适 用 于 大 样本 数据 量 , 且 样 本 数据 的 增加 能 
明显 改善 模型 的 结果 。 随 着 大 数据 时 代 的 到 来 ,问答 
网 站 掌握 着 越 来 越 多 的 全 量 数据 ,传统 的 基于 小 样本 
的 实验 分 析 受 到 挑战 ,新 的 基于 全 样本 的 实证 研究 正 
在 崛起 。 基 于 全 样本 的 实证 研究 方法 优势 显著 ,样本 
量 巨大 ,由 于 采用 的 是 全 样本 数据 ,无需 对 实验 数据 进 
行 有 效 性 内 生性 等 检验 ,应 用 型 大 大 增强 ,研究 结果 
更 接近 于 真实 。 

(2) 传统 的 机 器 学 习 方 法 在 进行 模型 训练 之 前 ， 
需要 对 原始 数据 进行 处 理 和 特征 选择 。 而 深度 学 习 算 
法 可 以 通过 低 维 密集 的 特征 ,学 习 到 以 前 没 出 现 过 的 
特征 之 间 的 关系 ,并 且 相 比 于 线性 模型 大 幅 降 低 了 对 
于 特征 工程 的 需求 ,因此 ,社会 化 问答 社区 开发 人 员 在 
选择 排序 算法 上 可 优先 考虑 深度 学 习 排 序 算法 。 


6 ”结语 


社会 化 问答 社区 现 有 的 排序 方法 较为 单一 ,最 常 
使 用 的 是 根据 用 户 点 赞 数 和 反对 数 对 答案 进行 排序 。 
这 种 大 众 评审 机 制 在 一 定 程度 上 能 反映 答案 的 质量 ， 


有 使 用 图 片 超 链 接 等 表述 方式 ,但 其 简短 的 回答 通常 
可 以 解决 提问 者 的 困惑 。 对 于 以 获取 知识 为 目的 的 用 


而 一 些 拌 机 灵 的 回答 或 者 段子 往往 因为 有 趣 会 获得 很 
高 的 点 赞 数 ,但 这 些 回 答 往往 不 能 满足 用 户 获 取 知识 
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的 需求 。 因 此 ,优化 现 有 的 排序 算法 是 问答 社区 急需 
解决 的 问题 。 本 文 从 两 个 角度 为 排序 算法 的 优化 提供 
了 解决 策略 :分 析 不 同类 别 排序 算法 在 社会 化 问答 
社区 数据 集 上 的 排序 性 能 ;@ 分 析 答 案 排 序 特征 的 相 
对 重要 性 ,为 社会 化 问答 社区 答案 排序 任务 评估 排序 
方法 。 本 文 根 据 实验 结果 以 及 实验 分 析 , 针 对 社会 化 
问答 社区 现 有 的 排序 现状 ,从 支持 多 种 答案 排序 策略 
和 构建 基于 深度 学 习 的 综合 排序 算法 两 个 维度 ,为 社 
会 化 问答 社区 答案 排序 优化 提供 建议 。 本 文 的 研究 仍 
存在 一 定 缺陷 ,研究 采用 的 数据 集 不 充分 , 知 乎 社区 没 
有 公布 答案 获得 的 反对 数量 以 及 反对 者 信息 ,本 文 在 
构建 答案 排序 特征 阶段 只 考虑 了 点 装 者 的 特征 。 本 文 
的 数据 量 也 不 充分 ,研究 仅 对 知 乎 问答 社区 10 万 多 条 
数据 进行 采集 并 进行 实验 研究 ,数据 样本 量 相对 于 整 
他 来 说 大 少 。 此 外 ,研究 缺乏 对 不 同 问题 类 别 下 
答案 排序 异同 的 比较 分 析 。 而 且 , 本 文 没有 充分 考虑 
点 王 的 不 确定 性 , 即 点 赞 多 的 答案 可 能 存在 一 定 的 从 
响应 ,从 而 导致 的 话题 性 答案 的 点 攀 数 相对 于 专业 
性 答案 的 点 赞 数 更 多 。 今 后 将 重点 研究 不 同 问题 下 ， 
竺 案 排 序 特征 和 答案 排序 模型 的 异同 性 以 及 点 赞 数 与 
答案 质量 之 间 的 关系 。 
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© Abstract; | Purpose/significance | This paper studies the impact of multi-dimensional characteristics on Social 
Qa Communities answer ranking, which can improve the service quality in Social Q&A Communities and optimize 
Me experience. | Method/process | This paper constructed a Social Q&A Communities answer ranking feature 
(system from the answer feature, respondent feature and voter feature dimensions, and then we compared the applica- 
Gility of 11 ranking learning algorithms based on deep learning, tree, neural network and support vector machine in 
ial Q&A Communities data set, and train random forest classification algorithm to get the importance of each fea- 
lure. | Result/conclusion | The experimental results show that the sorting learning algorithm based on deep learning 
: performs better than other sorting algorithms in NDCGG k and MRR indexes, and the influence characteristics of vot- 
ers are very important, followed by the content characteristics of the answers, and finally the professional characteris- 
fies of the respondents. From the two dimensions of increasing the diversity of the answer ranking method and impro- 
-Xing the comprehensiveness of the answer ranking algorithm, we provide some suggestions for the optimization of com- 
fnity answer ranking. 
Keywords: Social Q&A Community 
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